Combination of correlation measures for dense stereo matching

Dans le cadre de la mise en correspondance dense de pixels, nous étudions la fusion de différentes mesures de corrélation. En s'appuyant sur les travaux précédents, nous utilisons les mesures les plus représentatives parmi 5 familles de mesures : corrélation croisée, mesures classiques, similarité de gradients, statistiques non-paramétriques et statistiques robustes. Plus précisément, notre étude met en évidence la possibilité d'améliorer la mise en correspondance en combinant différentes mesures de corrélation que l'on souhaite complémentaires. En particulier, nous démontrons la supériorité de la combinaison des mesures de corrélation suivantes : Gradient Correlation (GC) et Smooth Median Absolute Deviation measure (SMAD). Enfin, nous introduisons un algorithme de fusion qui permet de combiner automatiquement ces 2 mesures

Mesures de corrélation robustes aux occultations

National audienceIn the context of computer vision, matching can be done using correlation measures. This paper presents the classification of forty measures into five families. In addition, sixteen new measures based on robust statistics are presented to deal with the problem of occlusions. An evaluation protocol is proposed (eight criteria, three pairs of real and synthetic images with ground truth) and the results show that robust measures (one of the five families) including the new measures, give the best results near occlusions.Dans le cadre de la mise en correspondance par mesure de corrélation, en vision par ordinateur, cet article présente une classification en cinq familles d'une quarantaine de mesures. De plus, seize nouvelles mesures fondées sur les statistiques robustes sont présentées pour prendre en compte le problème des occultations. Un protocole d'évaluation est proposé (huit critères, trois paires d'images synthétiques et réelles, avec vérité terrain). Les résultats montrent que les mesures robustes (cinquième famille), dont les seize mesures proposées, sont les plus robustes aux occultations

Approches simultanées et séquentielles de la mise en correspondance par propagation

National audienceLa mise en correspondance de pixels est une étape importante de la reconstruction 3D. Parmi les méthodes existantes, nous nous intéressons plus particulièrement à celles par propagation de germes qui s'appuient sur un ensemble d'appariements fiables (germes). Le principe utilisé pour la propagation est que le correspondant d'un voisin d'un germe est recherché au voisinage du correspondant de ce germe. Il existe deux types d'approches pour ces méthodes : l'approche séquentielle et l'approche simultanée. Dans cet article, nous proposons un état de l'art de ces méthodes ainsi qu'une amélioration de l'approche simultanée. Notre méthode se déroule en deux phases faisant intervenir deux mesures de corrélation dont une est robuste aux occultations dans les zones proches des discontinuités de profondeur. Nous proposons également une étude comparative des différentes approches

Occlusion handling in correlation-based matching

In binocular stereovision, the accuracy of the 3D reconstruction depends on the accuracy of matching results. Consequently, matching is an important task. Our first goal is to present a state of the art of matching methods. We define a generic and complete algorithm based on essential components to describe most of the matching methods. Occlusions are one of the most important difficulties and we also present a state of the art of methods dealing with occlusions. Finally, we propose matching methods using two correlation measures to take into account occlusions. The results highlight the best method that merges two disparity maps obtained with two different measures.En stéréovision binoculaire, la mise en correspondance est une étape cruciale pour réaliser la reconstruction 3D de la scène. De très nombreuses publications traitent ce problème. Ainsi, le premier objectif est de proposer un état de l'art des méthodes de mise en correspondance. Nous synthétisons cette étude en présentant un algorithme générique complet faisant intervenir des éléments constituants permettant de décrire les différentes étapes de la recherche de correspondances. Une des plus grandes difficultés, au cours de l'appariement, provient des occultations. C'est pourquoi le second objectif est de présenter un état de l'art des méthodes qui prennent en compte cette difficulté. Enfin, le dernier objectif est de présenter de nouvelles méthodes hybrides, dans le cadre des méthodes locales à base de corrélation. Nous nous appuyons sur l'utilisation de deux mesures de corrélation permettant de mieux prendre en compte le problème des occultations. Les résultats mettent en évidence la meilleure méthode qui consiste à fusionner deux cartes de disparités obtenues avec des mesures différentes

Learning to recognise 3D human action from a new skeleton-based representation using deep convolutional neural networks

Recognising human actions in untrimmed videos is an important challenging task. An effective three-dimensional (3D) motion representation and a powerful learning model are two key factors influencing recognition performance. In this study, the authors introduce a new skeleton-based representation for 3D action recognition in videos. The key idea of the proposed representation is to transform 3D joint coordinates of the human body carried in skeleton sequences into RGB images via a colour encoding process. By normalising the 3D joint coordinates and dividing each skeleton frame into five parts, where the joints are concatenated according to the order of their physical connections, the colour-coded representation is able to represent spatio-temporal evolutions of complex 3D motions, independently of the length of each sequence. They then design and train different deep convolutional neural networks based on the residual network architecture on the obtained image-based representations to learn 3D motion features and classify them into classes. Their proposed method is evaluated on two widely used action recognition benchmarks: MSR Action3D and NTU-RGB+D, a very large-scale dataset for 3D human action recognition. The experimental results demonstrate that the proposed method outperforms previous state-of-the-art approaches while requiring less computation for training and prediction

Interactive segmentation: a scalable superpixel-based method

This paper addresses the problem of interactive multiclass segmentation of images. We propose a fast and efficient new interactive segmentation method called superpixel alpha fusion (SaF). From a few strokes drawn by a user over an image, this method extracts relevant semantic objects. To get a fast calculation and an accurate segmentation, SaF uses superpixel oversegmentation and support vector machine classification. We compare SaF with competing algorithms by evaluating its performances on reference benchmarks. We also suggest four new datasets to evaluate the scalability of interactive segmentation methods, using images from some thousand to several million pixels. We conclude with two applications of SaF

Applications mobile et Web pour les observatoires photographiques du paysage

Les travaux décrits dans cet article consistent en un ensemble d'outils développés dans le cadre des observatoires photographiques du paysage, dans le but d'en faciliter l'exploitation pédagogique. Nous présentons une application mobile permettant de reconduire les clichés d'un observatoire et d'en effectuer la segmentation en régions étiquetées ainsi qu'une application Web permettant d'acceéder à tous les points de vue d'un observatoire et d'en suivre l'évolution grâce à des outils de comparaison. Enfin, nous mettons l'accent sur le potentiel pédagogique de ces outils et présentons différentes pistes d'utilisation dans l'enseignement secondaire

Skeletal Movement to Color Map: A Novel Representation for 3D Action Recognition with Inception Residual Networks

This paper has been presented at : 25th IEEE International Conference on Image Processing (ICIP)We propose a novel skeleton-based representation for 3D action recognition in videos using Deep Convolutional Neural Networks (D-CNNs). Two key issues have been addressed: First, how to construct a robust representation that easily captures the spatial-temporal evolutions of motions from skeleton sequences. Second, how to design D-CNNs capable of learning discriminative features from the new representation in a effective manner. To address these tasks, a skeleton-based representation, namely, SPMF (Skeleton Pose-Motion Feature) is proposed. The SPMFs are built from two of the most important properties of a human action: postures and their motions. Therefore, they are able to effectively represent complex actions. For learning and recognition tasks, we design and optimize new D-CNNs based on the idea of Inception Residual networks to predict actions from SPMFs. Our method is evaluated on two challenging datasets including MSR Action3D and NTU-RGB+D. Experimental results indicated that the proposed method surpasses state-of-the-art methods whilst requiring less computation

Video-based human action recognition using deep learning: a review

Human action recognition is an important application domain in computer vision. Its primary aim is to accurately describe human actions and their interactions from a previously unseen data sequence acquired by sensors. The ability to recognize, understand and predict complex human actions enables the construction of many important applications such as intelligent surveillance systems, human-computer interfaces, health care, security and military applications. In recent years, deep learning has been given particular attention by the computer vision community. This paper presents an overview of the current state-of-the-art in action recognition using video analysis with deep learning techniques. We present the most important deep learning models for recognizing human actions, analyze them to provide the current progress of deep learning algorithms applied to solve human action recognition problems in realistic videos highlighting their advantages and disadvantages. Based on the quantitative analysis using recognition accuracies reported in the literature, our study identies state-of-the-art deep architectures in action recognition and then provides current trends and open problems for future works in this led.This work was supported by the Cen-tre d'Etudes et d'Expertise sur les Risques, l'environnement la mobilité et l'aménagement (CEREMA) and the UC3M Conex-Marie Curie Program.No publicad